Lasso Regression | Machine Learning | Pusan National University

RSS + λΣ|βⱼ|ridge regression의 제곱합 벌점을 절댓값 합으로 바꾼 목적함수다.

variable selection계수가 0이 된 특성을 빼는 결과이며, 그 특성이 중요하지 않다는 뜻은 아니다.

제약 영역|β₁| + |β₂| ≤ s는 축 위에 모서리가 있는 마름모라 해가 모서리에 닿으면 한 계수가 0이다.

λ를 키우면 lasso는 일부 계수를 정확히 0으로 만들 수 있다

관측 30개, 표준화한 특성 8개 자료(자료를 만들 때 쓴 특성은 x₁, x₄, x₇)에 두 방법을 적합했다. λ를 바꾸면 두 계수 막대와 정확히 0인 계수의 수가 바뀐다.

정규화 강도 λ 30

왼쪽은 ridge regression, 오른쪽은 lasso의 계수다. 빨간 점선 칸은 계수가 정확히 0인 특성이다. 특성 이름의 굵은 글씨는 자료를 만들 때 쓴 특성이다.

두 계수 (β₁, β₂)의 RSS 등고선은 같고 제약의 크기 s만 바꾼다. s를 바꾸면 lasso 제약 |β₁| + |β₂| ≤ s와 ridge 제약 β₁² + β₂² ≤ s에서 RSS가 가장 작은 점이 바뀐다.

제약 크기 s 1.00

왼쪽 lasso, 오른쪽 ridge regression이다. 파란 영역이 제약(ridge regression 원의 반지름은 √s), 검은 점이 벌점 없는 최소제곱 해, 빨간 타원이 해를 지나는 RSS 등고선, 초록 점이 제약 안에서 RSS가 가장 작은 해다.

상관계수 0.91인 두 특성 x₁, x₂로 관측값을 만든 자료다. λ를 바꾸면 두 방법이 두 계수를 나누는 방식이 바뀐다.

정규화 강도 λ 20

행이 방법, 막대가 두 계수다. 빨간 점선 칸은 계수가 정확히 0인 특성이다.